Dopo aver frequentato il college di Louisiana Lafayette, è l'ottava scelta dei Philadelphia 76ers nel Draft NBA del 1980. Inizia la sua carriera nel basket professionistico nella stagione 1980-81 con la maglia numero 22 dei Philadelphia 76ers, franchigia con la quale trascorrerà tutta la sua carriera NBA, che si concluderà al termine della stagione 1987-88.
Nel 1982-83, Toney vince con i Philadelphia 76ers il titolo NBA.
A causa di infortuni la sua carriera agonistica si conclude prematuramente a 31 anni, dopo 8 stagioni nella NBA. Complessivamente Andrew Toney disputa 468 partite di regular season, 72 gare di play-off e 2 partecipazioni all'NBA All-Star Game, nel 1983 e nel 1984; conclude con una media-vita di 15,9 punti segnati a partita.
Il soprannome "The Boston Strangler" risale al 1982, quando si trovarono a disputare le finali della Eastern Conference contro i Boston Celtics. Toney fu il dominatore della serie, con una media di 22,1 punti a partita.